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Типи завдань у тестовий форм! 


В данной работе рассматриваются основные типы заданий, используемых в системах оценки и контроля 
знаний, в том числе те, которые традиционно относятся к классу «интеллектуальных». Предлагаемый анализ, 
который не претендует на свою функциональную полноту, позволяет реально оценить возможности 
современных информационных технологий на пути программного воплощения систем контроля знаний и 
выбрать их наиболее оптимальные способы решения. Впервые предложена программная модель уникального 
графического варианта меню как объекта выбора из множества альтернатив, и ориентированная на 
использование в системах контроля знаний. Описана реализация уникальной модели определения численного 
значения оценки результатов тестирования и приведены результаты её использования. 

Ключевые слова: система оценки и контроля, тестовые задания, анализ оценки тестирования. 
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Введение 


Тестирование как инструмент измерения уровня знаний [1-4] в настоящее время 
является, пожалуй, основным средством, при помощи которого можно определить каче- 
ство усваивания знаний в процессе обучения и в конечном итоге оценить профессиональ- 
ные навыки личности в той или иной сфере [5-8]. В данной работе рассмотрены некоторые 
вопросы, связанные с программной реализацией систем контроля знаний применительно к 
условиям нашей страны (отсутствие необходимого финансирования, крайне низкий уровень 
базового — школьного — образования, ярко выраженная тенденция молодого поколения 
нежелания учиться и т.д.). В принципе невозможно создать универсальную систему тести- 
рования. Если на современном уровне развития мировой цивилизации имеется пока одна 
современная (компьютерная) технология обучения, то методик обучения может быть бес- 
конечное множество, в пределе ровно столько, сколько существует педагогов. 

Целью данной работы является анализ типов заданий в тестовых формах систем 
контроля знаний на ряде примеров из различных областей знаний. Рассмотрение кон- 
кретных вариантов типов заданий позволяет реально оценить возможности современных 
информационных технологий на пути программного воплощения систем контроля 
знаний и выбрать их наиболее оптимальные способы решения. Сам анализ будем рас- 
сматривать в свете нетрадиционного подхода к самому понятию обучения. Для нас это 
прежде всего усовершенствование прошлого, постоянное развитие всех моделей, 
используемых при познании истины [9], когда обучение осуществляется с позиции 
силы знания и профессионального опыта обучающего. Только открытость и доступность 
различного рода моделей тестирования, равно как и отдельных элементов дистанцион- 
ного обучения, может способствовать повышению качества образования. Формирование 
общедоступного фонда программных продуктов, о необходимости создания которого 
говорили на парламентских слушаниях, посвященных созданию благоприятных условий 
для развития ИТ-индустрии в Украине (16 декабря 2011 г.), в значительной степени и 
определили стиль и форму дальнейшего изложения материала. 

Практически все системы автоматизированного контроля знаний оперируют за- 
даниями в тестовой форме (вопросами) закрытого типа (типа «выбор одного из нес- 
кольких», «выбор нескольких из нескольких», «соответствие», «последовательность 
или упорядочение») и открытого типа (свободный ввод ответа). Вопросы закрытого типа 
отличаются простотой своей программной реализации по причине отсутствия сложных 
вычислений: здесь просто осуществляется целочисленное сравнение кода правильного от- 
вета с кодом ответа выбранного. Вопросы открытого типа характерны тем, что для полу- 
чения ответа на него тестируемый должен ввести символьную строку, представляющую 
собственный ответ. Как правило, такие ответы вводятся на естественном для человека 
языке, максимально приближенном к разговорному. В ряде случаев, если система пред- 
полагает ответ, введенный на таком языке, считается, что сама система наделена свойством 
интеллектуальности [3], [6]. Интеллектуальная система тестирования содержит в себе три 
составляющие: базовый набор тестов; средства модификации базовых тестов; средства 
выведения оценок. Обязательным атрибутом интеллектуальной системы тестирования 
является наличие модели обучаемого, механизма её формирования и работы с ней [5-7]. С 
момента выхода в свет известной монографии Т. Винограда (1976) «Программа, пони- 
мающая естественный язык», прошло более сорока лет [10]. Тот момент, когда человек 
будет общаться с компьютером на своем естественном (разговорном) языке, к сожале- 
нию, до сих пор не наступил. Связано это с теми трудностями, с которыми приходится 
сталкиваться человеку при программной реализации как синтаксиса так и семантики 
естественных языков. 
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Предваряя рассмотрение наиболее распространенных типов вопросов, отметим, что 
самый лучший способ изучения программирования — это написание программ [11-16]. 
Экстраполируя это утверждение на плоскость проектирования и программной реали- 
зации систем контроля знаний, можно, по мнению авторов, сделать следующий вывод. 
Обычный анализ наиболее распространенных типов заданий в системах контроля знаний 
способствует наиболее глубокому пониманию тех проблем, с которыми приходится стал- 
киваться при проектировании и эффективной разработке системы. Дополнительно такой 
анализ может помочь и при выборе тех этапов работ, программное воплощение которых 
наиболее целесообразно в наши дни. Аналогичным образом действовал и автор мето- 
дического пособия [2], утвержденного Министерством образования и науки Украины, 
который ограничился одним звеном современной технологии обучения, потянув за 
которое, можно вытянуть всю цепочку народного образования на достаточно высокий 
уровень развития. Перейдем теперь к рассмотрению различного рода заданий в систе- 
мах контроля знаний. 


Задания закрытого типа. 
Выбор одного из нескольких 


Приведенная ниже последовательность из двух скриншотов демонстрирует различ- 
ные по своему визуальному представлению, но функционально однотипные элементы 
последовательности заданий, когда на предъявленный вопрос тестируемому предлагается 
несколько (3 — 4 ) варианта ответов. Из предлагаемых вариантов только один правильный. 

Рис. 1 представляет собой фрагмент работы одной из диалоговых систем тестиро- 
вания знаний [13]. Здесь вопрос — «Кто был первым директором институга кибернетики 
АН УССР» — представлен в виде мультимедийного файла в формате СЕ АММАТШМ. 
Возможные варианты ответов также представлены в виде графических изображений, 
например, ТТЕЕ,СТЕРО,ВМР и т.д. В этом случае функционально принятие ответа на 
вопрос сведено к необходимости размещения одного из 4-х альтернативных изображений — 
ответов (в нашем случае В.М. Глушков, В.И. Скурихин, В.И. Гриценко, В.С. Михалевич) 
в пределах прямоугольной области изображения — вопроса. Реализуется такое 
перемещение при помощи мыши по принципу ОКАС & ОКОР. 


О, 
ищи 


Рисунок 1 — Скриншот одной из систем тестирования знаний 
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Приведенное ниже изображение (рис. 2) иллюстрирует работу одной из систем 
тестирования знаний в области информатики [17] Здесь среди набора вопросов 4-й сфор- 
мулирован следующим образом: 


Тез! усиг Сотр!ег Кпомйедде 


ВЕСИММЕК ГЕУЕЕ 


СЛск № зеГесё уонг апзмегу, Неп о © Не Боно оГе ди? 0 деЁуонг соге 


2.А_____ зай При Чеисе зе мА \ААпдочу 1п мАСВ усы ром аи ССК 40 

таке а зе|всНои. 
10 виза 
20) етие соо] 
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4. Ао наз {пе тЗЕ Рив 4 ейЕ оЁ Мистозой Согроганой? 
10) Зв 065 
20) Вов баз 
36) ВИ баез 


6. Старниса! Его пиве ОрегаНиа Зет 


Рисунок 2 — Скриншот ОМИМЕ системы тестирования 


Как вопрос «Кто был первым президентом компании Мсгозой Сограганоп?», так и 
возможные ответы на него в данном случае сформулированы в виде символьных строк. 
Функциональное принятие ответа на данный вопрос связано с проставлением соответству- 
ющей метки при помощи указателя мыши слева от выбранной фамилии: ВШ Саез, ВоБ 
Саез, Беуе 065. 

Зададимся вопросом: Что общего и в чем различия между двумя ранее рассмот- 
ренными заданиями? 

Общее: 

1. Оба вопроса относятся к типу «Выбор одного из нескольких». 

2. Оба предполагают идентифицировать выдающуюся или всемирно известную 
ЛИЧНОСТЬ. 

Различия: 

1. В первом случае число альтернативных ответов четыре, а во втором - три. 

2. В первом случае вопрос и возможные ответы к нему представлены в виде 
мультимедийных файлов, а во втором - в виде символьных строк. 

3. В первом случае необходимо в лицо знать личности, чьи портреты индици- 
ровал компьютер. Напомним, что здесь фамилии людей не представлены. Во втором 
случае в визуальном опознании предъявленных личностей нет необходимости. Доста- 
точно лишь знать, кто такой Бил Гейтс. 

Не будем гадать, какой вариант более предпочтительный или удобный для поль- 
зователя. Отметим лишь, что с точки зрения программной реализации оба они могуг быть 
элементарно закодированы при помощи нескольких операторов. Среда программирова- 
ния при этом не имеет значения. 
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Задания закрытого типа. 
Выбор нескольких из нескольких. 


Рассмотрим теперь иной тип задания, который представлен следующими ком- 
понентами. 

1. Вопрос, сформулированный в виде символьной строки, либо представлен в 
виде мультимедийного файла, в том числе анимированного; 

2. Конечное множество альтернативных ответов с число элементов М, представ- 
ленных аналогичным образом. 

Из множества ответов необходимо выбрать подмножество из К элементов (оче- 
видно, что К < М), которое отвечает условиям поставленного задания. 

Рассмотрим следующий вопрос: «Из предложенных внутренних органов человече- 
ского организма выбрать те, которые отвечают за пищеварение» (рис. 3.). Возможные ва- 
рианты ответов предложены ниже: 

1. Слюнные железы; * 

Полость рта; * 
Печень; * 
Сердце; 

Легкие; 

. Прямая кишка. * 

Правильные варианты ответа здесь помечены символом «*». 

С точки зрения программной реализации такого типа задания, наиболее подходя- 
щим является стандартный графический элемент класса СНЕСКВОХ - элемент выбора, 
который принимает логические значения «да» — «нет» или иначе — «выбор сделан» — 
«выбор не сделан». 


лирыы 


СЛВОННЫЕ ЖЕЛЕЗЫ НАДГОРТАННИК 
ПОЛОСТЬ РТА 
ПИЩЕВОД 
чЕНЬ 
пе ЖЕЛУДОК 
ЖЕПЧНЫЙ ПУЗЫРЬ 
ТОНКАЯ КИШКА 
ПОДЖЕЛУДОЧНАЯ 
ЖЕПЕЗА 
ТОЙСТАЯ КИШКА 
АППЕНДИКС 
ПРЯМАЯ КИШЖА 


Рисунок 3 — Интерфейс системы тестирования по курсу «Анатомия человека» 


Графические элементы, которые используются для фиксации выбора, сделанного 
пользователем, объединяются в группы. Традиционное название классов таких эле- 
ментов определяется как СНЕСКВОХ и КАРОВОТТОМ. 
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На приведенном скриншоте в группе элементов выбора (рис. 4.) «Перенос по 
словам» расположены три элемента класса «КАП», а в группе элементов «Панели» 
таких элементов четыре. Основное отличие этих элементов, входящих в группы, 
состоит в том, что в рамках первой КАОТО - группы может быть выбран лишь один. 


Параметры 


[Текст] Рус Тех \Айог9 ] \мще ] Внедренный объект | 


г Перенос по словам— - Панели—— 


О Не производится Инструментов 
Форматирования 


Линейка 
О Вграницах полей 


Строка состояния 


Рисунок 4 — Элементы выбора при тестировании 


В рамках группы СНЕСК, объединенных общим названием «Панели» и состоящей из 
четырех элементов, выбран может быть любой, причем вне зависимости от состояния 
других элементов группы. С учетом функционального предназначения рассмотренных 
элементов выбора можно сделать вывод о том, что для программной реализации задания 
типа «Один из нескольких» целесообразно использовать элементы класса КАПТО. Для 
заданий типа «Несколько из нескольких» целесообразно использовать элементы класса 
СНЕСК. Нарушение этого правила может приводить иногда к неоднозначной интер- 
претации действий тестируемого, что хочется продемонстрировать на приведенных ниже 
скриншотах, полученных при работе системы тестирования РВОРКОЕЗ — для проверки 
знаний в области информатики. Здесь в рамках традиционного ОМПМЕ тестирования 
предлагается ответить на следующий вопрос: «Как называются файлы, с которыми 
работает приложение М$ ОКО». Нетрудно заметить, что это задание относится к типу 
«Один из нескольких», хотя для осуществления выбора правильного ответа здесь 
используются объекты класса СНЕСК. Привести это может к неоднозначной интерпре- 
тации действий тестируемого, что наглядно представлено на скриншотах, выдаваемых 
системой при разных вариантах ответа на предъявленный системой вопрос (рис. 5). 
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Рисунок 5 — Пример неправильного варианта системы тестирования 
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Задание закрытого типа. Соответствие 


Задания этой категории, входящие в группу закрытого типа, по своим дидактиче- 
ским возможностям, с точки зрения программной реализации могут быть наиболее прив- 
лекательными. Для проведения анализа заданий типа «Соответствие» представим себе 
стандартную таблицу базы данных, состоящую из четырех реквизитов. Один из вариантов 
структуры может иметь следующий вид. Число записей в такой таблице произвольное. 


Портрет ФИО Репродукция Наименование 
живописца 


Репин И.Е. 


Бурлаки на Волге 


Айвазовский И.К. Закат на море 


Саврасов А.К. Грачи 
прилетели 

Суриков В.И. Боярыня 
Морозова 


Рисунок 6 — Графическая модель базы данных системы 


Форматы реквизитов каждой записи в данной таблице различные (рис. 6.). Первый 
и третий реквизиты здесь имеют графический формат, второй и четвёртый — текстовый. 
Задания, сформулированные системой и предъявленные тестируемому могут быть са- 
мыми различными. Вот некоторые из них, когда предъявляются: 

1. Восемь изображений (портреты живописцев и репродукции их произведений), 
каждое из которых находится в своём собственном окне и произвольным образом рас- 
полагается на рабочем столе. 


2. Восемь текстовых фрагментов (фамилии живописцев и наименования их 
произведений). 
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3. Четыре текстовых фрагмента (фамилии живописцев) и четыре изображения 
репродукций. 

4. Четыре текстовых фрагмента (наименования репродукций) и четыре портрета 
ЖИВОПИСЦЕВ. 

Тестируемому предлагается при помощи мыши используя механизм ОКАС&ОКОР 
осуществить попарно связи между выведенными на экран монитора 8-и объектами. 

Это может быть, например, попарное размещение объектов, когда фамилия живо- 
писца либо его портрет распологаются внутри прямоугольной области иллюстрации. 

Возможен более сложный вариант, когда на экран монитора выводятся все 16 объ- 
ектов, приведенные в таблице. Расположение всех окон произвольное. Необходимо в 
указанных областях рабочей поверхности стола разместить все 4 компоненты каждой 
записи, сопоставив между собой портрет и фамилию живописца, репродукцию его про- 
изведения и её наименование. 

Каждый из упомянутых вариантов задания имеет свою степень сложности и для 
решения того или иного вида задания от тестируемого предполагается владение разного 
рода информацией, например, способность распознания живописца по его портрету или 
предъявленной репродукции, определение наименований предъявленных произведений 
искусства при их визуальном восприятии и т.д. 


Задания закрытого типа. 
Последовательность или упорядочение 


Данный тип задания, так же как и предыдущие, может быть использован при 
тестировании в рамках многих областей знаний. 

Вопрос из области литературы: Пушкин А.С., Лермонтов М.Ю., Шевченко Т.Г. и 
Некрасов Н.А. 

Задание: 

Вариант 1. Расположить поэтов в порядке возрастания года их рождения. 

Вариант 2. Расположить поэтов в порядке возрастания числа прожитых ими лет. 

Вопрос из области географии: Представлены несколько национальных флагов 
государств Европы. 

Задание: расположить предложенные символы государств в порядке возрастания чис- 
ленности их населения или в порядке убывания площади, занимаемой государствами. 


Задания открытого типа 


Задания открытого типа как один из элементов интеллектуальных систем тестирования 
являются с точки зрения своей программной реализации наиболее трудоемкими. Это связано 
с тем, что «...истину нужно доказывать моделью. Пока ее нет, все построения висят в воз- 
духе...» [9]. Примеров заданий такого типа так же можно привести бесчисленное мно- 
жество. Не претендуя на полноту, рассмотрим наиболее типичные из них. 

Вопрос из области литературы: 

Белеет парус одинокой 

В тумане моря голубом. — 

Что ищет он в стране далекой? 

Что кинул он в краю родном? ... 

Задание: Укажите фамилию автора произведения, из которого приведен стихо- 
творный фрагмент, название этого произведения и когда оно было написано. 

Правильный ответ: Лермонтов М.Ю. ‚, Парус, 1832 г. 


«Штучний 1нтелект» 42012 481 


бк Курилов М.А., Сыпченко Л.П. 


Очевидно, что само задание может быть представлено различными способами: в 
виде символьного фрагмента, как это приведено выше, либо в виде звукового файла, 
когда человек зачитывает само задание. Инструментом для ввода ответа в данном случае 
является клавиатура персонального компьютера. В данном случае строгая интерпретация 
задания предполагает ввод от пользователя трех контекстов: фамилию, название произве- 
дения и дату. Некоторые варианты ответов в данном случае могут иметь следующий вид: 


Правильный Неправильный 

А) Лермонтов Парус 1832 (3) А) Лермонтов, Парус 1837 (2) 
Б) ЛЕРмонтов парус 1832 (3) Б) Пушкин Парус 1840 (1) 

В) ПАРУС, Лермонтов М.Ю.., 1832 (3) В) Лер монтов, Парус, 1832 (2) 


Г) Некрасов Море 1831 (0) 


Предложенные варианты ответов для специалиста сразу же подсказывают пути про- 
граммной реализации такого типа вопроса. Кроме того, саму оценку можно сделать диф- 
ференцированной [5], [8], как функцию числа правильных введенных контекстов. В на- 
шем случае для неправильных ответов в случае (А) правильно указан только автор произ- 
ведения и название; в случае (Б) правильно указано лишь наименование произведения, а 
в случае (Г) ни один контекст не отвечает истине. 

Рассмотрим теперь заключительный пример задания открытого типа, который 
может быть представлен, например, только лишь звуковым файлом, предъявляемым 
тестируемому для прослушивания. Здесь необходимо ввести либо наименование му- 
зыкального произведения, либо его автора. Один из вариантов программного интер- 
фейса представлен ниже. Пользователю в данном случае предъявляется меню (как 
список альтернатив), реализованное нетрадиционным образом. Его оригинальность в 
данном случае представлена графическим изображением множества элементов музы- 
кальной грамоты: ноты различной длительности, знаки альтерации, ключи и т.д. Рас- 
положены они в пределах меню произвольным образом. С каждым таким изображе- 
нием связан один фрагмент музыкального произведения. Щелчок по любому из 
фрагментов приводит к воспроизведению соответствующего аудиофайла. Пользователю 
предлагается в специальном поле ввести фамилию автора произведения, например, 
«Бетховен» и затем щелкнуть по кнопке «Ответ». При ее нажатии система осуще- 
ствляет следующие действия. 

1. Проигрывание аудиофрагмента прекращается. 

2. Текущий выбранный элемент музыкальной грамоты либо удаляется с экрана 
монитора, либо помечается каким-то образом, чтобы исключить его использование в 
дальнейшем. 

3. Число полученных ответов увеличивается на единицу, указывая тем самым на 
общее количество заданий, выполненных тестируемым. Очевидно, что на начальной 
стадии теста это будет нулевое значение. 

4. Если пользователь правильно указал фамилию автора произведения, число 
правильных ответов так же увеличивается на единицу. 

Тестирование заканчивается, когда в меню исчерпаны все альтернативы. В любой 
момент времени воспроизводится лишь один музыкальный фрагмент. Если при его вос- 
произведении пользователь осуществил щелчок по другому графическому элементу, то 
воспроизведение текущего фрагмента прекращается и воспроизводится тот, который 
связан с последним выбранным. Это эквивалентно тому, когда пользователь, не зная от- 
вета на текущий вопрос, перешел к вопросу следующему. 

С учетом предложенной модели тестирования один из формальных элементов базы 
данных (знаний) может иметь, например, следующий вид (рис. 7). 
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Рисунок 7 — Графический интерфейс уникального меню 


1. Порядковый номер элемента музыкальной грамоты, как целочисленное значение. 

2. Граничные параметры прямоугольной области, в пределах которой находится 
данный элемент. Эти значения необходимы для его спецификации при тестировании. 

3. Имя звукового файла, который «привязан» к соответствующему номеру элемента 
музыкальной грамоты. При создании базы, вполне очевидно, что не должно быть ни ка- 
ких ограничений на сам мультимедийный формат 

4. Символьная строка — фамилия автора фрагмента музыкального произведения. 

Дополнительные атрибуты, которые могут быть включены в состав формальной 
структуры базы тестовой системы, определяются моделью обучаемого, алгоритмами 
численной оценки знаний [2-8] и т.д. Все они являются элементами «интеллектуали- 
зации» систем тестирования. Таких численных моделей существует множество, но мы 
используем одну из них [8]. Её формальная модель приведена на рис. 8. Она обладает 
рядом достоинств, к которым в первую очередь можно отнести: 

А) фактор «попадания» на случайный ответ минимальный; 

Б) используются все данные, полученные при тестировании, в частности, неверные 
ответы, которые иногда несут больше информации об уровне знаний тестируемого, чем 
верные ответы; 

В) учитывается время ответа; 

Г) при увеличении выборки М (число заданий) увеличивается надежность, валид- 
ность теста и шкала оценки результатов. 

М 
В=> 5Ш"Е ВИ, 
1 
где 1 номер текущего задания, рассчитывается автоматически; 
М- общее число заданий, рассчитывается автоматически; 
5] - сложность [го задания, задаётся в БД; 
0, если выбран ответ “не знаю”, 
Е] = а[] /ЬЙ| если выбран правильный ответ, 
-с@] / 6], если выбран неправильный ответ, где 
а[ — число правильных ответов; 


Ь — общее число ответов; 
с — число неправильных ответов. 


1 — если время ответа меньше эталонного; 
В [] = 0.5 - если время ответа > 3*ТЕюов [П 
-1 
(ТСштеше / ТЕмЮюп[]), во всех остальных случаях. 
где 
ТЕ@Юп/ - эталонное время для 1-го ответа; 
ТСштепИЙ - время ответа для 1-го ответа; 


Рисунок 8 — Формальная модель количественной оценки знаний 
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При одинаковой сложности всех включенных в систему заданий диапазон изменения 
численного значения оценки в большинстве случаев определяется общим числом вопросов, 
предъявляемых тестируемому. Так, например, при числе вопросов, равном М и том же зна- 
чении полученных правильных ответов, численное значение оценки будет равно М. 

Внедрение представленной выше численной модели оценки результатов тестирова- 
ния в состав самой системы привело к необходимости включения дополнительных атри- 
бутов в соответствующей таблице. Здесь для каждого из М заданий дополнительно вводятся: 

а) целочисленное значение сложности задания; 

6) эталонное (нормативное) время ответа, которое отводится тестируемому на 
распознание конкретного музыкального фрагмента; 

в) текущее время, затраченное тестируемым на подготовку очередного ответа. 

Первые два из указанных атрибутов задаются при настройке и явно носят субъ- 
ективный характер. Третий параметр вычисляется автоматически, хотя он также зависит 
от конкретного звукового фрагмента, в частности от длительности нот (звуков) в началь- 
ной стадии воспроизведения. 


Анализ численной модели оценки 
результатов тестирования 


Рассмотрим некоторые результаты использования вышепредложенной формальной 
модели оценки результатов тестирования. Исходные данные сведены в представленных 
ниже табл. 1 и табл. 2. Эти данные получены экспериментальным путем при помощи 
реализованной программной модели в системе по распознания авторов музыкальных 
фрагментов. Программная модель реализована таким образом, что сам тестируемый в 
любой момент времени может увидеть численное значение оценки. При соблюдении 
определённых условий (сложность всех заданий имеет единичное значение, и время 
ответа на каждое из них не превышает эталонное), диапазон значений оценки будет 
следующим: -М < В < М, где М — количество заданий. Визуальный анализ данных, при- 
веденных в табл. 1, позволяет сделать следующие заключения. Шкала значений оценки 
совпадает с интервалом ( -37 < К < 37). После первых четырёх заданий, когда получены 
все правильные ответы на них, значение оценки равно «4». 


Таблица 1 


Общее число 


вопросов 4 6 8 10 14 16 19 21 25 29 37 


Получено 
правильных 4 5 7 9 13 13 13 13 1 21 29 
ответов 

Значение 
оценки 


4 | 3.8 | 5.8 | 7.85 | 11.8 | 9.86 | 6.88 | 4.89 | 8.8 | 12.8 | 20.8 


При ответах на задания с номерами от «14» до «21», когда не было получено ни 
одного правильного ответа, значение оценки уменьшилось с «11.8» до «4.89». Частота 
верных ответов на задания повышалась и к концу тестирования (37 заданий) было по- 
лучено 29 верных ответов. Окончательное значение оценки равно 20.8. Итоги тестирова- 
ния: шкала (-37 < К < 37 ), оценка 20.8. После несложных математических вычислений 
при 5-бальной системе это будет приблизительно 4.1. В рамках 100-балльной системы — 
приблизительно 72. 
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Аналогичные рассуждения могут быть осуществлены на базе данных табл. 2. 
Данные этой таблицы были получены в результате действий тестируемого «наугад». 
Здесь шкала оценки равна -44 < К < 44. При пятибалльной системе оценка будет -- 1.3, 
а при 100 бальной — приблизительно 27. 


Таблица 2 


Общее число 
вопросов 


Получено 
правильных 2 2 3 4 4 5 5 5 6 7 8 9 0 
ответов 


Значение 
оценки 


Выводы 


В данной работе рассмотрены наиболее типичные варианты заданий, используемых 
в интеллектуальных системах тестирования знаний в различных предметных областях. 
Впервые предложена программная модель уникального графического варианта меню как 
объекта выбора из множества альтернатив и ориентированная на использование в системах 
контроля знаний. Реализована оригинальная модель определения численного значения 
оценки результатов тестирования. Приведены результаты её практического использова- 
ния. Анализ вариантов в предложенном автором виде обусловлен твердым убеждением, 
что истину нужно доказывать работающей моделью. Степень убеждения в этом случае 
значительно повышается, если это модели программные. 
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Основные понятия и определения 


Существует множество различных определений понятий и категорий, используе- 
мых при проведении данного анализа. Ниже приведены те, которые, по мнению авто- 
ров, являются наиболее адекватными, и, поэтому, именно им отдано предпочтение. 

Адаптивное тестирование [2-5] предполагает анализ ответов на последователь- 
ность тестовых заданий определенной трудности. Это возможно, когда заранее оп- 
ределена трудность тестовых заданий, выраженная в численном исчислении. Очевидно, 
что соответствующие характеристики должны быть представлены в базе данных зада- 
ний. Расчет их валидности предполагает предварительную апробацию и обработку ре- 
зультатов с использованием различных методов и чаще всего носит субъективный ха- 
рактер. Алгоритмически это может быть реализовано следующим образом. Если ответ 
правильный, то предполагается, что уровень подготовки тестируемого выше сложно- 
сти предъявленной задачи, и он способен решать задачи заданной трудности, в про- 
тивном случае — неспособен. В данном случае можно использовать следующий 
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подход. Если тестируемый успешно решил данное задание, то у него появляется 
желание решить более трудное задание. Если нет — то им будет сделана еще одна по- 
пытка решения задания той же трудности. Если оно также не решено, то предъявляется 
задача пониженной трудности. Если сразу не решено менее трудное задание, то предла- 
гается задача еще меньшей трудности. Аналогично происходит процесс повышения труд- 
ности заданий. Использование заданий, соответствующих уровню подготовки позволяет 
уменьшить время тестирования и повысить точность измерения уровня знаний. 

Анализ — (от греч. апа[у$15 — разложение) метод научного исследования (позна- 
ния) явлений и процессов в основе которого лежит изучение составных частей, элементов 
изучаемой системы и способов взаимодействия между основными её компонентами. 

Интеллект (от лат. ииеПеса$ — понимание, познание) — способность к осущест- 
влению процесса познания и к эффективному решению проблем, в частности при 
овладении новым кругом жизненных задач. Иногда понятие ИНТЕЛЛЕКТ восприни- 
мают как систему всех познавательных (когнитивных) способностей индивида: ощуще- 
ния, восприятия, памяти, представления, мышления, воображения или рассматри- 
вают как способность к решению некоторых проблем или задач без проб и ошибок «в 
уме». Интеллект предполагает умение мыслить, решать проблемы, анализировать си- 
туацию, и понять, социальные ценности, обычаи и нормы. 

Искусственный интеллект (ИИ, англ. Атайс1а| пеШеепсе, АГ) — наука и 
технология создания интеллектуальных машин, особенно интеллектуальных компью- 
терных программ. ИИ связан со сходной задачей использования компьютеров для 
понимания человеческого интеллекта, но не обязательно ограничивается биологи- 
чески правдоподобными методами. Искусственное мышление — способность пред- 
угадать будущее на основании постоянно растущих знаний о прошлом, где текущее время - 
место, в котором многообразное будущее становится однообразным прошлым. Вычисли- 
тельные машины играют ключевую роль в искусственном интеллекте, поскольку они 
позволяют создавать точные, контролируемые теории, богатые ингредиентами, относя- 
щимися к процессам. Поэтому понимание программ — это необходимое условие для 
полного понимания искусственного интеллекта [18]. Искусственный интеллект можно 
определить [8] как свойство цифровой вычислительной машины или сети нейронопо- 
добных элементов реагировать на информацию, поступающую на её входные устройства, 
почти так же, как реагирует в тех же информационных условиях некоторый задуманный 
или конкретный человек. 

Интеллектуальная система тестирования -— система тестирования [2-5], кото- 
рая содержит в себе три составляющие: базовый набор тестов; средства модификации 
базовых тестов; средства выведения оценок. Обязательным атрибутом такой системы 
является свойство адаптивности. Интеллектуальная система тестирования, основанная 
на имитации действий учителя, способна уделить индивидуальное внимание каждому 
обучаемому по каждому вопросу изучения. Учитель в учебной аудитории, ориенти- 
рующий свой урок на среднего обучаемого, имеет гораздо меньше возможностей 
удовлетворить познавательные потребности отдельного ученика. Интеллектуальная си- 
стема тестирования обязательно предполагает наличие модели обучаемого и формаль- 
ного (программного ) аппарата для работы с ней. 

Модель обучаемого — совокупность набора характеристик обучаемого, измеряе- 
мых во время работы системы с обучаемым и определяющей степень усвоения им 
знаний по изучаемому предмету и методов (правил) обработки этого набора. Эти пра- 
вила должны осуществлять изменения самой модели обучаемого по результатам его 
работы с системой. 
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КЕЗОМЕ 


М.А. КитПоъ, Г.Р. Зурсйепко 
Туре5 о} Так; т Тез! Когт 


№1 Фе э1уеп ууогкташ фурез оЁ1азКз изед4 ш Ше зубет оЁ езитаноп апа свесКте 
Кпо\е4эе, шсаАтео$е, ср га4юопаПу репа 10 “пиеПеслаГ” с1аз$, аге сопз1аегед. 
Тре ргорозе4 апа1уз1з, \УсВ 4оез пой ргеепа ю Фе №псНопа| АШпезз, а!о\у$ ю уаше фе 
розу оЁто4егп шЮгтаНоп {есВпо]о?1ез оп Фе угау оРШе ргоэтатите епаШтепЕ оЁ 
Фе Кпо\ме4ее сВескше зузет$ ап4 1ю своозе пеш п105Ё оритит \ауз о Ше 4ес151оп. 
Тре оЙеге4 ргоэтапиитте тоде! о Те ипаие отарШс уамап тепи, аз оБесЕ оЁе спо1се 
Пот епзетЫе оЁ\Ве аНегпайуез ап4 омеще4 1ю изе ш зубет ое Кпо\едее свескто, 
15 шпоуаНоп. Ргасйса| уаме оЁ засВ тепи 1$ ргоуе4а Бу тагкее4 ргозгатттетоде! оЁ 
Кир\]е4ее езитаНоп ш Фе Не!4 оЁ тазс. ш 15 ш%апсе, а {е$аЫе 15 ргезещей Юг Базоте 
зерагаёе ти51с Нартепь, Вауше Неага \мсь, И 15 песеззагу ю шФсае Ве аи ог оЁ Ве 
11$1с рго@исе. 

п 16 сазе, опотаШу о тоде| 1$ ргезеще4 Бу отарШс зсепе епзетЫе еетепё ппаз1с 
АВС: тиз1с ю ЧШегеп( Фигайоп, 121$ ораегаНопз, Кеуз ап4 ес. ТБеу аге осайе4 ут тепи 
Бу Вее ппасе апа р!асше. УМ еасБ зисВ зсепе, опе Наотепе оЁ те тизс ргодисе 15 теае4. 
Тре спсКше оп апу ое Яаотет пез гергодисйоп сотезропате 0 аидюе. ТБе чзег 15 
оНеге4 {ю ещег Фе зигпате оРе ашог ое ргодисип зресла| Неа, Юг шхапсе, “Веешоуеп” 
еп 0 с[ск Фе БаНоп “Апз\уег”.Тне ЮПо\ие асйоп$ аге геаНте4 ип4ег сИсК1по: 

1. Аидюер1ау 1$ %юрреа; 

2. ТБе сиггепЕ спозеп е]етепе о Ве пизс АВС 15 деще4 Кот зсгееп оЁ Ве топйог, 
ог 15 таке ш а угау ю ипдегзапа {пай ппазе 1$ ехса4еа от Ви ег ие; 

3. ТВе патбег оЁ апз\уег$ шсгеазез ю ип, ш@сайие Фе атоцие ое {1а5К$ таде Бу 
Фе 1е5аЫе. И 1$ оБутюиз а{ а бе ша1 {асе оЁ{езё {015 Ш Бе его ппроцапсе; 

4. Ше изег шсае4 {Ве зигпате ое аи ог ое ргодисе сотгесйу, ве питбег оЁ 
сотгес{ апз\уегза]зо шсгеазез 10 опе ипи. 

Тезипе НилзВез \уВеп аП айегпануе$ ш тепи аге ехВаи$е4. Аё апу Ите, й 15 гергодисед 
ошу опе тизс Наетепе. Ш Фе изег сПск$ Фе оег этарыс еетепь Ше гергодисте оЁ Фе 
сигтепё Настей $юрз ап йе Наотпепе Фа соппес{е4 уу Ше 1азё свозет$ гергодисед. И 1$ 
едаа| +0 фе зИиайоп \еп е изег4оезп”Е Кпо\у фе апз\ег №ю Ше ситепЕ адиезНопЬи{ 2оез 
{Оше пех ааезНоп. 
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